EdgeWise:通过选择性云委托将长程智能体带到边缘
🧭 边缘-云端 Agent 协作与选择性模型路由 ★ 深度解读
NVIDIA · Rutgers University
提出EdgeWise框架,让本地SLM作为主求解器,仅在关键步骤选择性委托云LLM,显著降低成本且保持性能
📌 工作参考价值(4 点)
- 在电商/广告等长链路 Agent 工作流(选品、文案生成、数据分析)中,识别关键决策步骤(类似 Write/Edit)并仅对这部分调用大模型,其余用轻量模型处理,可显著降低大模型 API 成本。
- 借鉴 self-delegation 的 RL 训练方式:用轨迹级奖励 + 步骤级 credit assignment,让 SLM 自主学习何时调用大模型,无需额外路由模型;可以用一个轻量 critic 模型提供细粒度优势信号。
- 跨模型协作时,上下文传递不要盲目压缩:全量历史性能最好但成本高,可尝试去掉轻量模型的内部推理只保留执行历史,在性能和成本间取得折中。
- 将路由判断改为连续分数 + 阈值控制,可以灵活调整大模型调用频率,适合业务中根据预算动态平衡成本与效果。
让 harness 成长而非上下文:从无策略脚手架到可复用专家智能体
🧭 Agent harness 自动增长优化 ★ 深度解读
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Shenzhen University of Advanced Technology · University of Macau
通过任务反馈把重复控制固化为可执行代码,LLM仅做语义推理,实现低成本高成功率Agent
📌 工作参考价值(4 点)
- 把高频控制路径(query 改写、结果校验、状态机流转、停止条件、重试策略)从 prompt/上下文固化到代码,LLM 只负责语义比较和最终生成;对电商搜索 Agent、客服 Agent 等高频请求场景,可显著降低单次 token 与成本。
- 建立 function-level trace 和失败窗口:线上失败日志关联到具体函数,优化器只修改被 trace 覆盖的有限代码面,避免全量重写;这能形成可维护的“局部重训练”工程闭环。
- 引入 held-out gate 与 checkpoint 回滚:每个修复候选必须在固定验证集上不降低成功率才接受,防止修复当前 case 导致历史能力退化;持续优化推荐策略或 Agent 逻辑时尤其关键。
- 小模型部署友好:将可复用控制移到代码后,4B 模型在 WebArena-Verified 上成功率达到 45.3%,而 Tool-Calling 只有 6.7%;端侧或低成本电商/搜索 Agent 可优先采用代码 harness 而非依赖大模型在线规划。